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@ Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschatzung von Bildsequenzen, 
insbesondere eines Pradiktionssignals fur Bewegtbilder mit bewegungskompensierender Pradiktion 

@ Zur Erzeugung eines verbesserten Bildsignals bei der 
Bewegungsschatzung erfolgt zuerst eine pelgenaue Be- 
stimmung eines Bewegungsvektors und anschlieRend 
eine zweistufige Interpolationsfilterung auf Sub-Pelge- 
nauigkeit. Die Interpolationskoeffizienten werden hin- 
sichtlich einer Aliasing-Reduzierung gewahlt. Zur Interpo- 
lation werden mehr Nachbarbildpunkte herangezogen als 
bei ubiichen Interpolationsverfahren. 
Die Qualitat eines Pradikationssignals fur Bewegungsbil- 
der laBt sich verbessern und damit die Codierungseffi- 
zienz steigern. 



o 
o 

CO 

r* 



BUNDESDRUCKEREI 11.98 802 063/183/1 23 



DE019730 305 [ file://C:\Documents and Senin qs\k aren\Local Sett ing s\Temp orarv Internet Files\OLK4A \DE01 97 30305.cpcl 



Page 2 of 6 



a. 
o 

O 



CO 



DE 197 30 305 A 1 

Bcschrcibung 
Stand der Technik 

5 Die Erfindung geht aus von einem Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschat- 
zung von Bildsequenzen, insbesondcre eines Pradiktionssignals fiir Bewegtbilder mil bewegungskoiiipensierender Pra- 
diktion, wobci tiir Bildblockc Bcwcgungsvcklorcn gcbildct wcrdcn, die fiir jcdcn Bildblock eincs aktucUcn Bildcs die 
Position dcs zur Pradiktion bcnutztcn Bildblockcs gcgcniibcr cincm zcitlich davorlicgcndcn Rcfcrcnzbild angcbcn. 
Aus der EP 0 558 922 B2 isl ein Verfahren zur Verbesserung der Bewegungsschatzung in Bildsequenzen in Halbpel- 

10 genauigkeit nach dem Full-vSearch- Verfahren bekannt. Dort wird in einem erslen Verfahrens schritt der Suchbereich und 
in einem zweiten Verfahrensschritt der Match-Block gefiltert unter Zuhilfenahme eines zusatzlichen digitalen Filters, daB 
eine Raslerverschiebung des Bildpunklrasters um V4 pel eniioglicht. Mil dieser MaBnahme ist eine Verfalschung des Be- 
wcgungsvcktorfcldcs auszuschlicBcn. 

Beim "MPRG-4 Video Verification Model Version 7.0". Bristol, April 1997, MPEG 97/N1642 in ISO/IEC JTCl/SC 

15 29AVG1 1 ist ein Encoder und Decoder zur objektbasierten Codierung von Bewegtbildfolgen sj^zifiziert,. Dabei werden 
nicht mehr rechteckige Bilder fester CiroBe codiert und zum Empfanger ubertragen, sondem sogenannte VIDEO OB- 
JECTS (VO), welche beliebige Form und (jroBe aufweisen diirfen. Die Abbildung eines sole hen VO in der Kamerabild- 
ebene zu einem beslimmten Zeitpunkt wird als VIDEO OBJECTS PLANE (VOP) bezeichnet. Somit ist die Beziehung 
zwischen VO und VOP aquivalent zu der Beziehung zwischen Bildfolge und Bild im Falle der t)bertragung rechteckiger 

20 Bilder fester GroBe. 

Die bewegungskompensierende Pradiktion im Verifikationsinodell wird mit Hilfe sogenannter blockweiser Bewe- 
gungsvektoren durchgefuhrt, die fiir jeden Block der GroBe 8x8 bzw. 1 6x1 6 Bildpunkte des aktuellen Bildes die Position 
des zur Pradiktion benutzten Blockes in einem bereit.s iibertragenen Referenzbild angeben. Die Auflosung der Bewe- 
gungsvektoren ist dabei auf einen halben Bildpunkt beschrankt, wobei Bildpunkte zwischen dem Abtastraster (half pixel 
25 position) durch eine bilineare Interpolationsfilterung aus den Bildpunkten auf dem Abtastraster (integer pixel position) 
erzeugt werden (Fig. 1), + gibt hierbei die Ganzzahl-Pixel-Position und O die Halb-Pixel-Position an. Die interpolierten 
Werte a, b, c und d in Halb-Pixel-Position ergeben sich durch folgende Beziehungen: 



30 



a = A, b = (A + B)//2, c = (A + C)//2, 

d = (A-i-B-l-C + D)//4, wobci // cine gerundete Ganzzahl-Division kennzcichnct. 



Vorteile der Erfindung 



35 Mit den MaBnahinen der Erfindung laBt sich die Qualitat des Pradiktionssignals und somit die Kodierungseflizienz 
vcrbcsscrn. Dabei wird zur Erzeugung von Bildpunkten zwischen dem Bildpunkt- Abtastraster eine groBere ortliche 
Nachbarschaft bcriicksichtigt, als bei der bilincarcn Interpolation. Die crfindungsgcmaBc aliasing-rcduzicrcndc Interpo- 
lationsfilterung fiihrt zu einer erhohten Auflosung des Bewegungsvektors und damit zu einem Pradiktionsgewinn und ei- 
ner erhohten C'odierungseffizienz. Bei der Erfindung konnen die FIR-Filterkoeffizienten den zu codierenden Signalen an- 

40 gepaBt und fur jedes Video-Object getrennt ubertragen werden, was eine weitere Effizienzerhohung fur die Codierung er- 
moglicht sowie die Flexibilitiit des Verfahrens erhoht. 

Im Gegensatz zur Losung gcmaB der EP 0 558 922 Bl miisscn keine zusatzlichen Polyphascnfi Iters trukturcn fiir Zwi- 
schcnpositioncn mit pel-Bildpunktauflosung in horizontaler und vcrtikaler Richtung cntworfen werden. 

Mit den MaBnahmen der Erfindung ist es moglich, daB bei gleichbleibender Datenrate die Bildfolgefrequenz eines 

45 MPE(j-l-('oders von 25 Hz auf 50 Hz verdoppelt werden kann. Bei einem MPECj2-('oder kann die Datenrate bei gleich- 
bleibender Bildqualitat um bis zu 30% reduziert werden. 



Zcichnungen 

50 Anhand von Zeichnungen werden nun Ausfuhrungsbeispielc der Erfindung naher erlautert. Es zeigen: 
Fig, 2 ein Tnterjx)lationsschema fur Bildpunkte zwischen dem Bildpunkt- A bta.straster, 
Fig. 3 die Struktur eines FER-Filters zur Interpolation, 
Fig, 4 eine weitere Interpolation mit noch hoherer Auflosung. 

55 Beschreibung von Ausfuhrungsbeispielen 



Beim Verfahren nach der Erfindung werden fiir Bildblockc Bcwcgungsvcktorcn gcbildct, die fiir jcdcn Bildblock eincs 
aktuellen Bildes die Position des zur Pradiktion benutzten Bildblockes gegeniiber einem zcitlich davoHiegenden Refe- 
renzbild angeben. 

60 Die Bestimmung der Bewegungsvektoren fiir die Pradiktion crfolgt in drei aufeinanderfolgenden Schritten: 

In einem ersten Suchschrilt wird ein Bewegungsvektor mit Pelgenauigkeit nach einem herkommUchen Verfahren, z. B. 
nach der Full-Search-Block- Mate hing-Methode, fur jeden Bildblock bestimmt. Hierbei wird das Minimum des Fehler- 
kriteriums fiir mogliche Bewegungspositionen ermittelt und jener Vektor, der die Bewegung des Bildblockes am besten 
besehreibt, ausgewahlt (EP 0 368 151 Bl). 

65 In einem zweiten Suchschritt, der wiedcrum auf einer solchcn Minimumsuchc fiir das Fchlerkriterium basicrt, wird 
ausgchcnd von dem im ersten Schritt ermittcltcn Bewegungsvektor mit Pelgenauigkeit durch eine aliasing-reduzicrcnde 
Interpolationsfilterung miltels eines digitalen symmetrise hen FIR (finite impulse response)-Filters ein verbesserter Be- 
wegungsvektor auf Subpelgenauigkeit ennittelt. Die Auflosung wird hierbei hoher gewiihlt als im ersten Suchschritt, 
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vorzugswcisc wird cine Auflosung von cincni halbcn Bildpunkl bczogcn auf das Bildpunktxastcr gcwahlt. Fig. 2 zcigt 
das Intcrpolationsmuslcr tur die Bildpunkle b, c und d zwischcn dcm Bildpunktrastcr, die sich aus den Nachbarbildpunk- 
ten A, B, D, E, F, (}, H auf dem Bildpunktrastcr ergeben und gibt die (janzzahl-Pixeiposition an, o die Halbpixelposi- 
lion. Es gill: 

b = (C01x(A., + A+i) + C02x (A_2 + A+2) + C03x (A_-, + A+3) + C04x (A^ + A+4))/256 

ci = (COlx(Ai + Ei) + C02x(Bi + Fi) + C03x (Ci+ Q) + G04x (Dj + Hi))/256 

d = (C01x(c_i + c+i) + C02x(c_2 + c+2) + C03x (c.j + c+3) + C04x (c_4+ c+4))/256. 



Die Struktur des verwendeten FIR-Interpolationsfiiters ist aus Fig. 3 ersichtlich. Es weist nach jeder Bildpunktposition 
6p einen Abzweig zu einem Koeffizientenbewerter 1, 2. 3 usw. auf und eine Summationseinrichtung 10 am Ausgang. 10 
Wie aus obigen Beziehungen ersichtlich ist, wird zur Erzeugung von Bildpunkten zwischen dem Abtastraster eine gro- 
Bere orlliche Nachbarschaft beriicksichtigl, als bei der bilinearen Inlerpolalion nach dein Stand der Technik. Die Interpo- 
lationsfiltcrkocffizicntcn C02, C03, C04 wcrdcn dabci so bcstimnit, daB die Intcrpolationsfchlcrlcistung minimal wird. 
. Die Koetfizienten konnen direkt mit dem bekannten Schatzverfahren des kleinsten, mittleren quadrarischen Fehlers be- 

stimmt werden. Aus der Minimierung der Tnteriwlarionsfehlerleistung erhalt man ein lineares Gleichungssystem, dessen 1 5 
^ Koeffizienten aus dem Orthogonalitatsprinzip abgeleitet werden konnen. Ein derart optimierter Satz von FTR-Filterkoef- 

fizienten ist durch die Koeffizienten (:01=161/256, (:02=-43/256, (:03=23/256, (;04=-8/256 gegeben. 

Im dritten Suchschrilt wird ausgehend von dem auf V2 Pelgenauigkeit beslimmten Bewegungsvektor durch eine wei- 
tere Interpolationsfilterung eine lokale Suche unter Zugrundelegung der acht Nachbarbildpunkte mit einer Auflosung, die 
noch weiter erhoht ist, vorzugswcisc auf Va Bildpunkt, durchgcPuhn. Es wird wie zuvor der Bewegungsvektor ausge- 20 
wiihlt, der die geringste Pradiktionsfehlerleistung liefert. 

Das Interpolationsmuster hier/u zeigt Fig. 4. Die ganzzahligen Bildpunkt-Positionen sind mit X gekennzeichnet, die 
Halb-Pixel-Bildpunktpositionen mit o und die Viertel-Pixel-Bildpunktpositionen mil - O markierldie beste Kompensa- 
tion mil V2-Bildpunkt und + die Vierlelbildpunkt-Suchposition. 

Interpoliert wird beziiglich des Bildpunktrasters mit der Auflosung von einem halben Bildpunkt aus dem zweiten 25 
Suchschrilt mil den FTR-Fillerkoeffizienten COl =V2, C02'=0, C03 =0, C04'=0. 

Die gleiche zuvor vorgestellte Interpolationstechnik wird fiir die bewegungskompensierende Pradiklion verwendel. 
Falls die Verarbeilung innerhalb eines Coders mil einem redu/ierlen Bildforniat durchgefuhrt wird (SIF-Format inner- 
halb eines MPEG 1 -Coders oder Q-CIF in einem H.263-Coder), zur Anzeige aber das urspriingliche Eingangsfonnal ver- 
wendel wird, z. B. CCIR 601 11 J bei MPHG-1 oder CIF" bei H.263, muB als Nachvcrarbcitung cine ortlichc Mcrpolati- 30 
onsfiltcrung durchgefuhrt wcrdcn. Auch tur dicscn Zwcck kann die bcschricbcnc aliasing-kompcnsiercnde Interpolati- 
onsfilterung verwendel werden. 

Um die aliasing- kompen si erende Interpolation mit V4 Pel Auflosung zu aktivieren, konnen in einen Bildubertragungs- 
Bitstrom Aktivicrungsbiis eingefugl werden. 

Fiir die Pradikdon von Vidco-Objckten konnen die FillerkocfTizienten COl bis C04 und COl' bis C04' fur jedes der 35 
Vidco-Objcklc VO geu-ennl aufbercitct werden und in den Bildubcrtragungs-BitsU-om zu Bcginn der Ubcrtragung des jc- 
wciligen Video-Objckts eingcfiigl wcrdcn. 

Zur ('odierung eines Bewegungsvektors kann der Wertebereich der zu codierendcn Bewegungsvektor-Differenzen an 
die erhohte Auflosung angepaBl werden. 



Palenlanspriiche 



40 



1. Vcrfahrcn zur Erzeugung eines vcrbcsscrtcn Bildsignals bei der Bcwcgungsschalzung von Bildscqucnzcn, ins- 
besondere eines Pradiktionssignals fiir Beweglbilder mil bewegungskompensiercndcr Pradiklion, wobei fiir Bild- 
blocke Bewegungsvekloren gebildct werden, die fiir jedcn Bildblock eines aktuellen Bildes die Position des zur Pra- 45 
diktion benulzten Bildblockes gegeniiber einem zeitlich davorliegcnden Referenzbild angeben, mit folgenden 
Sciiritlen: 

- in einem crstcn Suchschrilt wird cin Bewegungsvektor auf Pelgenauigkeit bcstimml, 

- in einem zweiten Suchschrilt wird ausgehend von dcm Bewegungsvektor mit Pelgenauigkeit durch cine 
aliasing-redu/ierende Inteqx)lationsfiiterung mitteis eines digitalen Filters ein verhesserter Bewegungsvektor 50 
auf Subpelgenauigkeitennittelt, wobei die Auflosung hoher gewiihlt ist, als es der Auflosung des Bildpunktra- 
sters im ersten Suchschrilt entspricht und wobei zur Interpolation mehr Nachbarbildpunkte herangezogen wer- 
den als bei einer bilinearen Interpolation, 

- in einem dritten Suchschrilt wird ausgehend von dem auf Subpelgenauigkeit beslimmten Bewegungsvektor 
durch eine weitere Interpolationsfilterung miilels des digitalen Filters ein weiter verbesserter Bewegungsvek- 55 
tor erinillelt, wobei die Auflosung gegeniiber dem zweiten Suchschrilt nochmals erhoht wird und die Interpo- 
lation basicrcnd auf dcm Bildpunktrastcr mit der Auflosung im zweiten Suchschrilt vorgcnommcn wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB zur Interpolationsfilterung beim zweiten Suchschrilt 
ein FFR-Filter verwendel wird mil den Filterkoeffizienten C01 = 161/256, C02=-43/256, C03=23/256, 
C04=-8/256. 60 

3. Verfahren nach Anspruch I oder 2, dadurch gekennzeichnet, daB zur Interpolationsfilterung beim dritten Such- 
schrilt ein FTR-Filter verwendel wird, mil den FTR-Filterkoenizienten COl'= V2, CO2'=0, C03'=0, C04'=0. 

4. Verfahren nach einem der Anspriiche 1 bis 3, dadurch gekennzeichnet, daB fiir die Pradiklion von Video-Objek- 
ten (VO) die Filterkoeffizienten des digitalen Filters/FER-Fillers fiir jedes Video-Objekl getrennl aufbereitet werden 
und in einen Ubcrlragungsbitslrom zu Bcginn der Ubcrtragung des jcwciligcn Objekles eingcfiigl wcrdcn. 65 

5. Verfahren nach einem der Anspruchc 1 bis 4, dadurch gekennzeichnet, daB zur Codierung eines Bewegungsvek- 
tors, insbesondere fiir eine t Jberu-agung der Wertebereich der zu codierende Bewegungsvektor-Differenzen an eine 
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crhohtc Aufiosung angcpaBt wird. 
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